Về chế độ quân sự, triều Tùy phân đặt chư vệ, chế độ thống soái quân phủ bảo vệ bắt nguồn từ 'thập nhị đại tướng quân chế' từ thời Tây Ngụy-Bắc Chu; đặt ra tư vệ, tư võ quan, thống soái phủ binh bảo vệ cung cấm; lại có Vũ hầu phủ thống soái phủ binh tuần cảnh kinh thành, đều đặt một 'thượng đại phu'. Thời Tùy sơ, vẫn theo chế độ của Bắc Chu, Tùy Văn Đế đặt ra thập nhị vệ do trung ương quản lý, tiền thân của thập lục vệ. Thập nhị vệ phân thành tả/hữu dực vệ, tả/hữu kiêu kỵ vệ, tả/hữu vũ vệ, tả/hữu đồn vệ, tả/hữu hậu vệ, tả/hữu ngự vệ. Thập nhị vệ phụ trách phòng vệ và chinh chiến, trong đó phòng vệ phân thành 'nội vệ' và 'ngoại vệ'. Khi có chiến sự, hoàng đế hạ chiếu mệnh cho 'hành quân nguyên soái' hay 'hành quân tổng quản' làm quan chỉ huy thời chiến, hợp thành tổ chức tác chiến. Như trong cuộc chiến tranh tiêu diệt Nam triều Trần, do vùng chiến sự tương đối lớn, Dương Quảng, Dương Tuấn và Dương Tố là 'hành quân nguyên soái', trong đó Dương Quảng thống nhất điều độ. Trong chiến tranh giữa Tùy và Đột Quyết, Lý Hoảng được bổ nhiệm là 'hành quân tổng quản'.[51] Trong chiến tranh giữa Tùy và Thổ Dục Hồn, Lương Viễn được bổ nhiệm làm 'hành quân tổng quản'. Sau khi kết thúc tác chiến, chức vụ 'hành quân tổng quản' cũng bị bãi bỏ, quân đội được giao trả lại cho tổng quản các nơi. Năm Đại Nghiệp thứ 3 (607), Tùy Dạng Đế đem thập nhị vệ mở rộng thành chế độ "vệ thống phủ", điều này là nhằm khuếch trương lực lượng quân sự, tăng cường lực lượng thị vệ trung ương và phân tán quyền lực của các tướng.[52] "Vệ thống phủ" có 12 vệ và 4 phủ, gọi chung là thập lục vệ hoặc thập lục phủ; bốn phủ thành lập mới là tả/hữu bị thân phủ và tả/hữu giám môn phủ. Thập nhị vệ phụ trách thống lĩnh phủ binh và phòng vệ kinh thành; tứ phủ không lãnh đạo phủ binh, tả/hữu bị thân phủ phụ trách hộ vệ Hoàng đế, tả/hữu giám môn phủ phân quản tại các cổng của cung điện. Thập nhị vệ chỉ huy ngoại quân, 'kiêu kị vệ quân' thuộc tả/hữu dực vệ, 'báo kị quân' thuộc tả/hữu kiêu vệ, 'hùng cừ quân' thuộc tả/hữu vũ vệ, 'vũ lâm quân' thuộc tả/hữu đồn vệ, 'xạ thanh quân' thuộc tả/hữu ngự vệ và 'thứ phi quân' thuộc tả/hữu hậu vệ; Tả/hữu dực vệ kiêm lĩnh nội quân. Nội quân chỉ binh sĩ 'ngũ quân phủ' do ba vệ thân, huân, dực của tả/hữu dực vệ quản lý, cùng với tam vệ tam phủ của Đông cung, đều do con em quan lại cấp cao đảm nhiệm.[53]

Tùy Văn Đế cũng phân toàn quốc thành các khu vực quân sự, đặt chức tổng quản phụ trách quân sự tại các khu vực này, thời bình thì phòng bị biên cảnh, thời chiến thì phụng mệnh xuất chinh; có tổng quản phủ phân thành ba hạng: thượng, trung, hạ. Ngoài ra, còn có tứ đại tổng quản: Tấn vương Dương Quảng canh giữ Tịnh châu, Tần vương Dương Tuán canh giữ Dương châu, Thục vương Dương Tú canh giữ Ích châu, Vi Thế Khang canh giữ Kinh châu. Triều Tùy tổng cộng đặt 30-50 tổng quản, lấy Trường An làm trung tâm mà phân thành tứ đại quân khu: Đông, Tây, Nam, Bắc; trú thủ tại các châu để chống ngoại hoạn. Triều Tùy lấy khu vực biên cương phương bắc là trọng điểm, trấn thủ đất hiểm yếu. Quân khu cả thảy có: Bát phủ Bắc và Tây Bắc, chủ yếu phòng ngự Đột Quyết hãn quốc; Thất phủ Đông Bắc phòng ngự Đột Quyết hãn quốc và Khiết Đan; Bát phủ Trung Tây bộ bảo vệ quanh kinh thành, cứ thủ đầu nguồn sông; Cửu phủ Đông Nam canh giữ những nơi có địa hình hiểm yếu ở phương nam; còn có Điệp châu để phòng ngự Thổ Dục Hồn, Nam Ninh châu để áp chế Thoán tộc; về sau lại tăng thêm hai phủ Toại-Lô để phòng ngự các bộ lạc ở Tây Nam. Về sau, triều Đường kế thừa cách làm này, đồng thời phát triển thành các quân khu hay giám sát khu gọi là 'đạo'.[54]

Tùy Văn Đế đối với "phủ binh chế" cũng có những cải cách, đem chế độ phẩm cấp quan chức Bắc Chu và văn thần võ tướng vào trong một hệ thống đẳng cấp đồng nhất. Năm 590, ban bố mệnh lệnh đưa quân hộ nhập vào dân hộ, quân nhân ngoài quân tịch bản thân, cũng có thể cùng gia thuộc nhập vào hộ tịch địa phương, chiếu theo 'quân điền chế' mà nhận ruộng, miễn trừ thuế, đồng thời chiếu theo quy định phải luân phiên đến kinh thành phòng vệ, hoặc chấp hành nhiệm vụ khác. Mệnh lệnh này giảm bớt được gánh nặng kinh tế của triều đình trung ương, đồng thời khiến quân nhân có thể sống cùng gia thuộc, cũng mở rộng nguồn binh của triều đình, được gọi là 'binh nông hợp nhất'.[55]